线程/进程和核绑定（CPU亲和性）

随着对C++线程的研究和项目的推进，接触到CPU亲和性，即CPU绑定相关的内容，本文针对相关知识基础内容做一个介绍。

提示：以下是本篇文章正文内容，下面案例可供参考

CPU的亲和性，进程要在某个给定的 CPU 上尽量长时间地运行而不被迁移到其他处理器的倾向性，进程迁移的频率小就意味着产生的负载小。当系统将线程分配给处理器时，操作系统使用亲和性来进行操作。这意味着如果所有其他因素相同的话，它将设法在它上次运行的那个处理器上运行线程。让线程留在单个处理器上，有助于重复使用仍然在处理器的内存高速缓存中的数据。

亲和性一词是从affinity翻译来的，实际可以称为CPU绑定。

在大数据量的数据处理过程中，我们通常需要提升处理效率和性能，一是优化算法，二是充分利用服务器的硬件资源，如CPU和GPU。

平时应用程序在运行时都是由操作系统管理的。操作系统对应用进程进行调度，使其在不同的核上轮番运行。对于普通的应用程序，操作系统的默认调度机制是没有问题的。但是，当某个进程需要较高的运行效率时，就有必要考虑将其绑定到单独的核上运行，以减小由于在不同的核上调度造成的开销。

把某个进程/线程绑定到特定的cpu核上后，该进程就会一直在此核上运行，不会再被操作系统调度到其他核上。但绑定的这个核上还是可能会被调度运行其他应用程序的。

目前windows和linux都支持对多核cpu进行调度管理。软件开发在多核环境下的核心是多线程开发。这个多线程不仅代表了软件实现上多线程，要求在硬件上也采用多线程技术。

在多核运行的机器上，每个CPU本身自己会有缓存，在缓存中存着进程使用的数据，而没有绑定CPU的话，进程可能会被操作系统调度到其他CPU上，如此CPU cache（高速缓冲存储器）命中率就低了，也就是说调到的CPU缓存区中原来没有这类数据，要先把内存或硬盘的数据载入缓存。而当缓存区绑定CPU后，程序就会一直在指定的CPU执行，不会被操作系统调度到其他CPU，性能上会有一定的提高。

另外一种使用CPU绑定考虑的是将关键的进程隔离开，对于部分实时进程调度优先级提高，可以将其绑定到一个指定CPU核上，可以保证实时进程的调度，也可以避免其他CPU上进程被该实时进程干扰。我们可以手动地为其分配CPU核，而不会过多的占用同一个CPU，所以设置CPU亲和性可以使某些程序提高性能。

写到这里，联想到nginx有一项核心配置参数：worker_cpu_affinity：将进程与CPU绑定，提高了CPU cache的命中率，从而减少内存访问损耗，提高程序的速度。

将UI线程限制在一个CPU，将其他实时性要求较高的线程限制在另一个CPU。这样，当UI需要占用大量CPU时间时，就不会拖累其他实时性要求较高的线程的执行。同样可以将UI线程与一些优先级不高但耗时的异步运算线程设置在不同CPU上，避免UI给人卡顿的感觉。

Linux的调度程序同时提供”软CPU亲和性”和”硬CPU亲和性”。

进程要在指定的 CPU 上尽量长时间地运行而不被迁移到其他CPU。

Linux 内核进程调度器天生就具有被称为软CPU 亲和性（affinity） 的特性，因此linux通过这种软的亲和性试图使某进程尽可能在同一个CPU上运行。

将进程或者线程绑定到某一个指定的cpu核运行。

虽然Linux尽力通过一种软的亲和性试图使进程尽量在同一个处理器上运行，但它也允许用户强制指定进程无论如何都必须在指定的处理器上运行。

需要保持高CPU缓存命中率时、需要测试复杂的应用程序时。

保持高CPU缓存命中率：如果一个给定的进程迁移到其他地方去了，那么它就失去了利用 CPU 缓存的优势。实际上，如果正在使用的 CPU 需要为自己缓存一些特殊的数据，那么所有其他 CPU 都会使这些数据在自己的缓存中失效。因此，如果有多个线程都需要相同的数据，那么将这些线程绑定到一个特定的 CPU 上是非常有意义的，这样就确保它们可以访问相同的缓存数据（或者至少可以提高缓存的命中率）。否则，这些线程可能会在不同的 CPU 上执行，这样会频繁地使其他缓存项失效。

测试复杂的应用程序：考虑一个需要进行线性可伸缩性测试的应用程序。有些产品声明可以在使用更多硬件时执行得更好。 我们不用购买多台机器（为每种处理器配置都购买一台机器），而是可以：

使用cat /proc/cpuinfo查看cpu信息，如下两个信息：

总核数 = 物理CPU个数 X 每颗物理CPU的核数 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 查看每个物理CPU中core的个数(即核数) cat /proc/cpuinfo| grep "cpu cores"| uniq 查看逻辑CPU的个数 cat /proc/cpuinfo| grep "processor"| wc -l

物理CPU：主板上安装的CPU个数。

逻辑CPU：一般情况，我们认为一颗CPU可以有多个核，加上intel的超线程技术(HT), 可以在逻辑上再分一倍数量的CPU core出来。

超线程技术(Hyper-Threading)：就是利用特殊的硬件指令，把单个物理CPU模拟成两个CPU（逻辑CPU），实现多线程。我们常听到的双核四线程/四核八线程指的就是支持超线程技术的CPU。

使用系统调用sysconf获取cpu核心数：

% ps PID TTY TIME CMD 2683 pts/1 00:00:00 zsh 2726 pts/1 00:00:00 dgram_servr 2930 pts/1 00:00:00 ps

% taskset -p 2726 pid 2726’s current affinity mask: 3

显示的十进制数字3转换为2进制为11，每个1对应一个cpu，所以进程运行在2个cpu上。

可通过 taskset -pc $pid 来获取某线程与CPU核心的亲和性（线程在运行中可能执行于CPU核心的集合）。

taskset将一个启动的进程直接绑定在某个核上运行：

例如说

这句命令就是表示将进程号为1927的进程绑定在核1,2,3上。

% taskset -pc 1 2726 pid 2726’s c urrent affinity list: 0,1 pid 2726’s new affinity list: 1

注意，cpu的标号是从0开始的，所以cpu1表示第二个cpu（第一个cpu的标号是0）。

至此，就把应用程序绑定到了cpu1上运行，查看如下：

2的二进制是10，所以代表是CPU1，CPU0是01

这时候就可以通过top命令来进行查看，首先执行top命令，就可以看到相应的资源消耗，然后按F，选择Last Used CPU，这时候可以使用空格选中:

然后再按ECS，就可以退回正常Top界面，这时候就可以看到这些进程跑在哪些核上，如果说Last Used CPU一直保持不变，那就说明绑定成功。

使用sched_setaffinity系统调用

sched_setaffinity可以将某个进程绑定到一个特定的CPU。

见下面Linux API部分讲解。

在Linux内核中，所有的进程都有一个相关的数据结构，称为 task_struct。这个结构非常重要，其中与亲和性（affinity）相关度最高的是 cpus_allowed 位掩码。这个位掩码由 n 位组成，与系统中的 n 个逻辑处理器对应。 具有 4 个物理 CPU 的系统可以有 4 位。如果这些 CPU 都启用了超线程，那么这个系统就有8个位掩码。 如果为给定的进程设置了给定的位，那么这个进程就可以在相关的 CPU 上运行。因此，如果一个进程可以在任何 CPU 上运行，并且能够根据需要在处理器之间进行迁移，那么位掩码就全是 1。这是 Linux 中进程的预设状态。

为了让程序拥有更好的性能，有时候需要将进程或线程绑定到特定的CPU上，这样可以减少调度的开销和保护关键进程或线程。

Linux提供一个接口，可以将进程绑定到特定的CPU：

设置进程号为pid的进程运行在set所设定的CPU上 参数：

进程绑定到指定CPU的示例程序如下：

结果

不仅仅进程可以绑定到CPU，线程也可以。Linux提供一个接口，可以将线程绑定到特定的CPU：

该接口与进程绑定到CPU的接口的使用方法基本一致。

当进程绑定到特定的CPU之后，线程还是可以绑定到其他的CPU的，没有冲突。